Cha mẹ của Pattison cư trú tại thị trấn nông thôn Luseland, Saskatchewan,[6] khi anh được sinh ra tại bệnh viện ở thành phố Saskatoon gần đó. Gia đình chuyển đến East Vancouver, British Columbia khi Pattison lên sáu tuổi, nhưng anh đã trở lại Saskatchewan trong mùa hè.[5]

Công việc mùa hè đầu tiên của anh là chơi kèn tại trại nhà thờ trẻ em [6] và sau đó hái trái cây (quả mâm xôi, anh đào và đào) trong suốt mùa hè khi còn học trung học.[6] Pattison có nhiều công việc khi còn học trung học, bao gồm bán bánh rán ở bãi đậu xe của trường, bán hạt giống đến tận nhà, giao báo và làm việc như một cậu bé ở khách sạn Georgia.[7] Ông tốt nghiệp trường trung học John Oliver năm 1947.[8]

Sau khi học trung học, anh làm việc trong một nhà máy đóng hộp, nhà đóng gói, làm công nhân xây dựng những cây cầu trên núi, rồi đến Đường sắt Thái Bình Dương của Canada với tư cách là một nhân viên phục vụ xe ăn uống [6] trước khi nhận công việc rửa xe tại trạm xăng với xe nhỏ đã qua sử dụng kèm theo.[6] Tình cờ, trong khi người bán hàng thường xuyên đi vắng, Pattison đã bán một trong những chiếc xe trên lô và tìm thấy nghề nghiệp của mình.[6] Anh ấy đã thành công trong việc bán ô tô đã qua sử dụng vào mùa hè tại một trong những lô xe cũ lớn nhất ở Vancouver, sử dụng thu nhập của mình để trả cho việc học tại Đại học British Columbia [6] (mặc dù anh ấy không hoàn thành việc học của mình,[9] là ba lớp thiếu bằng cấp kinh doanh).[6]